今天想和大家分享在剛開始做資料分析時,曾經遇過的一個問題和經驗,也是蠻多數據分析時常見的盲點,也就是過度追求極致儀表板的設計、數據指標定義的計算。
過度追求完美,容易導致效率不彰、目標錯誤,先跟你分享一個歷史上的故事,再來聊聊我們的故事吧。
有一個著名的空難事件,發生於1972年的「東航空難(Eastern Air Lines Flight 401)」
這架東方航空的洛克希德L-1011三角洲飛機,從紐約飛往邁阿密。當飛機進入邁阿密國際機場上空進行降落準備時,機組人員發現降落裝置顯示燈沒有亮起,這可能意味著起落架沒有正常放下。於是,機長和副機長開始集中精力檢查這個顯示燈的問題,並嘗試手動處理起落架。
為了檢查問題,機組人員解除了自動駕駛功能,以便手動處理。他們幾乎所有的注意力都集中在儀表板上,特別是那個故障的指示燈。他們完全忽視了飛行的其他關鍵參數,包括飛機的高度和姿態。實際上,儀表板上的顯示燈故障並不意味著起落架沒有放下,而只是顯示燈本身可能壞了。就在機組人員忙於處理這個小問題時,飛機開始不知不覺地緩慢下降,但沒有人注意到。
最終,飛機以接近時速400公里的速度撞上佛羅里達沼澤地,造成機上176名乘客中101人喪生。調查顯示,事故的主要原因是機組人員過度專注於儀表板的小問題,而忽略了飛機正在逐漸下降,失去高度。
這個故事告訴我們,即使是飛行員這樣受過高強度訓練的專業人士,有時也會陷入「為了儀表板而儀表板」的陷阱。他們過度依賴單一的指標,忽略了更大的環境脈絡(飛行高度和狀態)。這與我們在數據分析中的挑戰非常相似,數據指標和儀表板雖然重要,但不能忽視整體情況或環境變化。
曾經處理過一個案子是想針對訂閱服務做數據的追蹤分析,產品是個每月訂閱付費的服務,每30天會自動扣款一次,除非用戶取消訂閱。
在來回討論怎麼衡量產品的成功後,我們特別在意『月退訂率』。
月退訂率的計算是這樣:
這個月的退訂人數 / 這個月的訂閱總數
其實後續仍然爭議不斷,也又調整好幾版,甚至要搬出微積分來算了,幾個版本也重複了前面的缺點,就不贅述。
這整個指標定義計算來來回回的過程,最累的其實就是DA了,每天要被業務追殺數據的準確性,要解釋為什麼是這樣,被弄的其實很疲倦,其實當時並沒有找到一個比較好的答案。
『簡單』
提供的任何數字、圖表都以簡單為最高原則, 『讓人願意理解』 是最重要的前提。
我知道實務上數據有很多情境和條件,但我能給你最好的建議就是把這些條件都消滅,老闆絕對沒有時間聽你說:『現在每天活躍人數 5萬人,但是要扣掉XXX,再考慮OOO』,請給聽眾一個你最有把握、最簡單的數字。
『能比較』
** 絕對的數字不具備任何意義,好與壞通常是比較而來。 **
在商業領域看財報的習慣來說,通常會和『YoY(去年同期)』、『MoM(上個月)』去做比較,例如:本月的活躍用戶數是5萬人,沒有任何意義,但如果加上資訊,上個月是3萬人,代表成長了2萬人,就有討論的空間。
『做拆解』
** 大數字沒有辦法產生行動,拆解後才能產生具體的優化行動。 **
有了可以比較的數字,下一步要找出行動,以剛剛 MAU 5萬人,成長2萬人,只能看不能做,所以必須『拆解』,例如:昨天的 MAU 3萬人,有1萬人購買商品,佔比33%;今天的5萬人,有1.2 萬人購買商品,只佔比24%,我們就可以得出第一個問題:MAU的成長沒有按比例帶來營收,是什麼原因?
其實整個回顧下來,何必要算出『月退訂率』呢?在整個產品服務的初期,大家最在意的問題其實就是『有多少人有興趣』、『現在有多少人訂閱』、『有多少人退訂』,以及和上一期相比的成長。
月退訂率本身的計算方式,其實不是關鍵,我認為還是值得計算的,只是大家應該在意的是時時刻刻的變化,而非斤斤計較一點些微的差異。
深入了解以後發現其實執著於『月退訂率』的原因是想透過月退訂率去推估營收,只是前期的變動實在太大,大家更在意的是這個數字為什麼變來變去?還沒心力去擔心未來12個月的營收預測呢!
今天和大家分享我自己曾經遇過的一個慘痛經驗,一個指標的定義因為各個角色的立場、需求不同,也可能過度、超前規劃,導致大家的焦點被錯誤聚焦在指標的定義,而非產品真正帶給使用者的價值,這是件非常危險的事情,也是很常見的衝突來源,有人倡導不要 KPI ,要OKR,也是這樣的起源。
我想說的是, 重點不在於工具,在於用這個工具的人與思維。